2022 iThome 鐵人賽
分享至
我們訓練AI也不能一股腦把數據丟進去就好了了所以我們要對數據做預處理所以就要使用數據集類(dateset)來先儲存數據我試驗用的數據是 每行第一個單詞是label,接下來的是內容最後,用數據加載器對數據進行打亂,分成多個batch(下例子是2個),迭代數據data_loader類的屬性分別是dataset,batch_size是分成幾個batch,shuffle是是否進行更新迭代num_work是幾線程工作這樣子最近本的數據處理就完成了
IT邦幫忙